野火是一种高度普遍的多毒环境现象。这种现象的影响包括人类损失，环境破坏和高昂的经济成本。为了减轻这些效果，已经开发了几个计算机模拟系统，以根据一组输入参数预测火灾行为，也称为场景（风速和方向；温度；等）。但是，由于未知的变量值的不确定性，模拟的结果通常具有高度的误差，因为它们尚不清楚，或者由于其测量可能是不精确，错误或无法实时执行的。先前的工作提出了多种结果的组合，以减少这种不确定性。最先进的方法基于并行优化策略，该策略使用健身函数来指导所有可能场景之间的搜索。尽管这些方法显示了预测质量的改善，但它们具有与用于选择场景的算法有关的一些局限性。为了克服这些局限性，在这项工作中，我们建议应用新颖性搜索范式，该范围取代了目标函数的量度，以衡量所找到的解决方案的新颖性，这使搜索可以与彼此不同的行为不断生成解决方案。这种方法避免了本地Optima，并且可能能够找到有用的解决方案，而其他算法很难或无法找到。与现有方法一样，该提案也可以适用于其他传播模型（洪水，雪崩或滑坡）。
translated by 谷歌翻译
Numerous works use word embedding-based metrics to quantify societal biases and stereotypes in texts. Recent studies have found that word embeddings can capture semantic similarity but may be affected by word frequency. In this work we study the effect of frequency when measuring female vs. male gender bias with word embedding-based bias quantification methods. We find that Skip-gram with negative sampling and GloVe tend to detect male bias in high frequency words, while GloVe tends to return female bias in low frequency words. We show these behaviors still exist when words are randomly shuffled. This proves that the frequency-based effect observed in unshuffled corpora stems from properties of the metric rather than from word associations. The effect is spurious and problematic since bias metrics should depend exclusively on word co-occurrences and not individual word frequencies. Finally, we compare these results with the ones obtained with an alternative metric based on Pointwise Mutual Information. We find that this metric does not show a clear dependence on frequency, even though it is slightly skewed towards male bias across all frequencies.
translated by 谷歌翻译
Predicting drug side-effects before they occur is a key task in keeping the number of drug-related hospitalizations low and to improve drug discovery processes. Automatic predictors of side-effects generally are not able to process the structure of the drug, resulting in a loss of information. Graph neural networks have seen great success in recent years, thanks to their ability of exploiting the information conveyed by the graph structure and labels. These models have been used in a wide variety of biological applications, among which the prediction of drug side-effects on a large knowledge graph. Exploiting the molecular graph encoding the structure of the drug represents a novel approach, in which the problem is formulated as a multi-class multi-label graph-focused classification. We developed a methodology to carry out this task, using recurrent Graph Neural Networks, and building a dataset from freely accessible and well established data sources. The results show that our method has an improved classification capability, under many parameters and metrics, with respect to previously available predictors.
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
3D Flash LiDAR是传统扫描激光雷达系统的替代方法，有望在紧凑的外形尺寸中进行精确的深度成像，并且没有运动部件，例如自动驾驶汽车，机器人技术和增强现实（AR）等应用。通常在图像传感器格式中使用单光子，直接飞行时间（DTOF）接收器实施，设备的操作可能会受到需要在室外场景中处理和压缩的大量光子事件的阻碍以及对较大数组的可扩展性。我们在这里提出了一个64x32像素（256x128 spad）DTOF成像器，该成像器通过将像素与嵌入式直方图使用像素一起克服这些局限性，该直方直方图锁定并跟踪返回信号。这大大降低了输出数据帧的大小，可在10 kfps范围内或100 kfps的最大帧速率进行直接深度读数。该传感器可选择性地读数检测表面或传感运动的像素，从而减少功耗和片外处理要求。我们演示了传感器在中端激光雷达中的应用。
translated by 谷歌翻译
语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
灵感来自近期跨越隐式学习在许多机器人任务的实证效果的程度，我们寻求了解隐式配方的理论优势，面对几乎不连续的功能，用于制造和破坏与环境中的环境接触的系统的共同特征和操纵。我们呈现并激励三种学习功能：一个明确和两个隐含。我们导出这三种方法中的每一个的泛化界限，揭示了基于预测误差损失的显式和隐式方法通常无法产生紧张的界限，与其他具有基于违规的丢失定义的其他隐含方法，这可以基本上更加强大地陡峭连续下坡。此外，我们证明这种违规的隐式损失可以紧密绑定图形距离，通常具有物理根源的数量并在输入和输出中处理噪声，而不是考虑输出噪声的预测损失。我们对违规隐性制剂的普遍性和身体相关性的洞察力与先前作品的匹配证据，并通过玩具问题验证，受到刚性联络模型的启发，并在整个理论分析中引用。
translated by 谷歌翻译
基于能量的模型（EBMS）允许极其灵活的概率分布规范。然而，它们不提供从这些分布中获得精确样本的机制。蒙特卡罗技术可以帮助我们获得样品，如果我们可以轻易采用可用的一些建议分布。例如，抑制采样可以提供精确的样本，但由于需要找到上限目标分布的提案分布，通常难以或不可能应用。大致马克洛夫链Monte Carlo采样技术通常更容易设计，利用在不断发展的样本上执行本地编辑的本地提案分布。然而，由于提案分布的本地性质，这些技术可能效率低下，并且不提供对样品质量的估计。在这项工作中，我们提出了一种新的近似采样技术，准拒绝采样（QRS），允许采样效率和采样质量之间进行权衡，同时提供显式收敛界限和诊断。 QRS大写从深度学习模型获得的高质量全球提案分布的可用性。我们展示了QRS采样对具有分布约束和解释生成的受控文本生成任务的分离EBMS对文本的有效性。我们表明，我们可以以采样效率的成本，从这些eBMS采样。
translated by 谷歌翻译
自然语言生成模型的力量引起了一种对自动方法的兴趣，以检测一段文本是人类或机器撰写的。到目前为止的问题已经以标准的监督方式框架，包括培训关于注释数据的分类器，以预测一个给定新文档的起源。在本文中，我们以无监督和分配方式框架问题：我们假设我们可以访问大量未经发布的文件，其中一大部分是机器生成的。我们提出了一种方法来检测利用重复高阶n-gram的那些机器生成的文件，我们在与人类中相比，我们在机器生成的文本中显示出来。弱信号是自我训练设置的起点，其中伪标记的文档用于培训分类器的集合。我们的实验表明，利用该信号使我们能够准确地对待可疑文件。对于Top-K采样策略，5000的精度超过90％，核心采样超过80％，我们使用的最大型号（GPT2-大）。模型大小增加的下降很小，这可能表明结果适用于其他当前和未来的大型语言模型。
translated by 谷歌翻译
单光子敏感的深度传感器正在越来越多地用于人类姿势和手势识别的下一代电子。但是，具有成本效益的传感器通常具有低空间分辨率，从而将其用于基本运动识别和简单的对象检测。在这里，我们执行一个时间到空间映射，从而大大增加了简单飞行时间传感器的分辨率，即〜初始分辨率为4 $ \ times $ 4像素到分辨率32 $ \ times $ 32像素的深度图像。然后，可以将输出深度图用于准确的三维人姿势估计多人。我们开发了一个新的可解释框架，该框架为我们的网络如何利用其输入数据提供了直觉，并提供了有关相关参数的关键信息。我们的工作大大扩展了简单的飞机飞行时间传感器的用例，并为将来应用于具有相似数据类型的其他类型的传感器（即雷达和声纳）开辟了有希望的可能性。
translated by 谷歌翻译